Maglev: Sliding Recurrent Memory
Maglev：滑动循环记忆
🧭 高效序列建模 · 循环记忆训练 ★ 深度解读
The University of Texas at Austin
用并行 prefiller 提供记忆目标、decoder 滑动窗口注入循环 K/V，实现有界推理的非线性循环 Transformer
📌 工作参考价值（4 点）
- 长用户行为序列建模：如果线上模型希望固定窗口 KV cache + 有界推理，可用一个更强的 full-attention teacher 离线生成每一步 memory target，蒸馏到滑动窗口 student，避免在线逐步展开 RNN 的延迟。
- Memory 注入方式：把上一时刻用户状态通过 K/V 通道加入当前 attention，而不是占用 token 位，K/V cache 大小不增加；可把用户实时特征和长期记忆分别走 local/recurrent K/V，并用 2σ gate 初始为 1 的双通道门控稳定混合。
- 辅助一致性损失调参：λ 不是越大越好；teacher 和 student 共享大部分参数时，过强的 memory 对齐会约束表示，λ 应小；分离 teacher 时可用较大 λ。该结论可直接迁移到多任务/蒸馏式训练。
- 参数共享策略：prefiller 与 decoder 共享主体参数可大幅省显存，同时保留大部分收益；若业务允许额外 teacher 容量，再考虑分离 stack。